Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
密集的预测任务对于3D点云很常见,但是在大量点及其嵌入中的固有不确定性长期以来一直被忽略。在这项工作中,我们提出了CUE,这是一种用于3D点云密集预测任务的新型不确定性估计方法。受公制学习的启发,提示的关键思想是探索传统密集的预测管道上的交叉点嵌入。具体而言,CUE涉及建立概率嵌入模型,然后在嵌入空间中执行大量点的指标。我们证明CUE是在两个不同任务中对3D点云的密集不确定性估算的通用和有效的工具:(1)在3D几何特征学习中,我们首次获得了良好的密集不确定性,(2)在语义段中我们将不确定性的预期校准误差减少了43.8%。所有不确定性均可估算,而不会损害预测性能。
translated by 谷歌翻译
作为人类识别的重要生物标志物,可以通过被动传感器在没有主题合作的情况下以远距离收集人步态,这在预防犯罪,安全检测和其他人类识别应用中起着至关重要的作用。目前,大多数研究工作都是基于相机和计算机视觉技术来执行步态识别的。但是,在面对不良的照明时,基于视觉的方法并不可靠,导致性能降解。在本文中,我们提出了一种新型的多模式步态识别方法,即gaitfi,该方法利用WiFi信号和视频进行人类识别。在GAITFI中,收集了反映WiFi多路径传播的通道状态信息(CSI),以捕获人体步态,而视频则由相机捕获。为了了解强大的步态信息,我们建议使用轻量级残留卷积网络(LRCN)作为骨干网络,并通过集成WiFi和Vision功能来进一步提出两流性gaitfi,以进行步态检索任务。通过在不同级别的特征上的三胞胎损失和分类损失进行训练。广泛的实验是在现实世界中进行的,该实验表明,基于单个WiFi或摄像机的GAITFI优于最先进的步态识别方法,对于12个受试者的人类识别任务而达到94.2%。
translated by 谷歌翻译
人类身份是对日常生活中许多应用的关键要求,例如个性化服务,自动监视,连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别(REID)的问题,对跨摄像机允许区域(例如街道)和摄像头限制区域(例如办公室)的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达,我们提出了同时跨模式多人REID的首个视觉RF系统。首先,为了解决基本模式间差异,我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次,引入了有效的跨模式深度度量学习模型,以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验,我们证明了我们所提出的系统能够达到约92.5%的TOP-1准确性,而在56名志愿者中,〜97.5%的前5位精度。我们还表明,即使传感器的视野中存在多个主题,我们提出的系统也能够重新识别受试者。
translated by 谷歌翻译
近年来,WiFi传感一直在迅速发展。通过传播模型和深度学习方法的能力,实现了许多具有挑战性的应用,例如基于WiFi的人类活动识别和手势识别。但是,与深入学习视觉识别和自然语言处理相反,没有足够全面的公共基准。在本文中,我们强调了最新的深度学习进展,使WiFi传感能够感测,然后提出了一个基准SensenFI,以研究各种深度学习模型对WiFi传感的有效性。这些高级模型是根据独特的传感任务,WiFi平台,识别精度,模型大小,计算复杂性,功能可传递性以及无监督学习的适应性进行比较的。从CSI硬件平台到传感算法,它也被认为是基于深度学习的WiFi传感的教程。广泛的实验为我们提供了深层模型设计,学习策略技能和培训技术的经验。据我们所知,这是第一个带开源库的基准,用于WiFi传感研究中的深度学习。基准代码可在https://github.com/chenxinyan-sg/wifi-csi-sensing-benchmark上获得。
translated by 谷歌翻译
本文介绍了一个多模式的室内轨道图数据集,Odombeyondvision,具有不同频谱的多个传感器,并使用不同的移动平台收集。Odombeyondvision不仅包含传统的导航传感器,例如IMUS,机械激光镜,RGBD摄像头,还包括几个新兴传感器,例如单芯片MMWave Radar,LWIR热相机和固态激光雷达。在无人机,UGV和手持式平台上的上述传感器中,我们分别记录了各种室内场景和不同照明条件的多模式探光数据及其运动轨迹。我们释放了示例雷达,雷达惯性和热惯性循环仪的实现,以证明其未来工作的结果,以对其进行比较和改进。包括工具包和文档在内的完整数据集可公开可用:https://github.com/maps-lab/odombeyondvision。
translated by 谷歌翻译
In general-sum games, the interaction of self-interested learning agents commonly leads to collectively worst-case outcomes, such as defect-defect in the iterated prisoner's dilemma (IPD). To overcome this, some methods, such as Learning with Opponent-Learning Awareness (LOLA), shape their opponents' learning process. However, these methods are myopic since only a small number of steps can be anticipated, are asymmetric since they treat other agents as naive learners, and require the use of higher-order derivatives, which are calculated through white-box access to an opponent's differentiable learning algorithm. To address these issues, we propose Model-Free Opponent Shaping (M-FOS). M-FOS learns in a meta-game in which each meta-step is an episode of the underlying inner game. The meta-state consists of the inner policies, and the meta-policy produces a new inner policy to be used in the next episode. M-FOS then uses generic model-free optimisation methods to learn meta-policies that accomplish long-horizon opponent shaping. Empirically, M-FOS near-optimally exploits naive learners and other, more sophisticated algorithms from the literature. For example, to the best of our knowledge, it is the first method to learn the well-known Zero-Determinant (ZD) extortion strategy in the IPD. In the same settings, M-FOS leads to socially optimal outcomes under meta-self-play. Finally, we show that M-FOS can be scaled to high-dimensional settings.
translated by 谷歌翻译
位置识别是同时定位和映射(SLAM)和空间感知的关键。但是,野外的地方识别通常会因图像变化(例如改变观点和街头外观)而产生错误的预测。将不确定性估计纳入地点识别的生命周期是减轻变化对位置识别性能的影响的有前途的方法。但是,这种静脉的现有不确定性估计方法要么是计算效率低下(例如蒙特卡洛辍学),要么以降低准确性为代价。本文提出了Stun,这是一个自学框架,该框架学会同时预测位置并估计给定输入图像的预测不确定性。为此,我们首先使用标准的度量学习管道训练老师网培训网络,以生产嵌入培训。然后,在经过预告片的教师网络监督的情况下,培训了一个具有额外差异分支的学生网,以对嵌入先验的培训进行训练,并按样本估算不确定性样本。在在线推理阶段,我们仅使用学生网与不确定性结合产生位置预测。与对不确定性一无所知的位置识别系统相比,我们的框架具有自由估计的不确定性估计而无需牺牲任何预测准确性。我们对大规模匹兹堡30K数据集的实验结果表明,昏迷在识别精度和不确定性估计质量方面的表现都优于最先进的方法。
translated by 谷歌翻译
场景流程使自动驾驶汽车可以推理多个独立对象的任意运动,这是长期移动自治的关键。尽管估计LiDAR的场景流动最近进展,但仍未知如何从4D雷达估算场景流动 - 这是一种越来越流行的汽车传感器,因为它在不利的天气和照明条件下的稳健性。与激光点云相比,雷达数据更为稀疏,嘈杂,分辨率更低。在现实世界中,雷达场景流的注释数据集也没有且昂贵。这些因素共同提出了雷达场景流量估计是一个具有挑战性的问题。这项工作旨在解决上述挑战,并通过利用自我监督的学习来估计场景从4-D雷达点云流动。稳健的场景估计架构和三个新颖损失的定制旨在应对棘手的雷达数据。现实世界实验结果验证了我们的方法能够稳健地估计野生中的雷达场景流,并有效地支持运动分割的下游任务。
translated by 谷歌翻译
由于其不利风格,例如雾,下雨和下雪,汽车MMWVEAVE雷达已广泛用于汽车行业中的广泛应用于汽车行业。另一方面,其大波长也造成了对环境感知的根本挑战。最近的进展对其固有的缺点,即多路径反射和MMWAVE雷达点云的稀疏性取得了突破。然而,MM波信号的较低频率对车辆的移动性比视觉和激光信号的迁移率更敏感。这项工作侧重于频移的问题,即多普勒效应扭曲了雷达测距测量及其对公制定位的影响。我们提出了一种新的基于雷达的公制定位框架,通过恢复多普勒失真来获得更准确的位置估计。具体而言,我们首先设计一种新算法,明确地补偿了雷达扫描的多普勒失真,然后模拟了多普勒补偿点云的测量不确定性,以进一步优化度量定位。使用公共NUSCENES数据集和CARLA模拟器的广泛实验表明,我们的方法分别以19.2 \%和13.5 \%的改进优于最先进的方法,分别在翻译和旋转误差方面的改进。
translated by 谷歌翻译